Karle sinh ngày 18 tháng 6 năm 1918 tại thành phố New York, trong một gia đình rất quan tâm tới nghệ thuật. Ông đã chơi dương cầm ngay từ khi còn trẻ và đã tham dự nhiều cuộc thi (dương cầm), tuy nhiên ông lại quan tâm tới khoa học nhiều hơn.[1]

Ông theo học trường Abraham Lincoln High School tại Brooklyn, và sau đó đã nối bước Arthur Kornberg (đoạt giải Nobel Y học 1959) và Paul Berg (đoạt giải Nobel Hóa học 1980), là những người tốt nghiệp của trường để đoạt giải Nobel.[3] Khi còn trẻ, Karle thích chơi môn bóng ném, trượt băng, touch football và bơi lội gần Đại Tây Dương.[1]

Karle bắt đầu học đại học ở tuổi 15, đậu bằng cử nhân ở City College of New York năm 1937, nơi ông học thêm các khóa học về sinh học, hóa học và toán học theo chương trình giảng dạy ở đây. Ông đậu bằng thạc sĩ ở Đại học Harvard năm 1938, chuyên về sinh học.[1]

Nhằm tích lũy tiền để học tiếp sau đại học, Karle đã xin vào làm việc ở Cục Y tế bang New York (New York State Department of Health) tại Albany New York, nơi ông đã phát triển một phương pháp đo các mức flo hòa tan, một kỹ thuật trở thành tiêu chuẩn cho việc flo hóa nước.[1]

Ông đăng ký vào Đại học Michigan năm 1940 và đã gặp người vợ tương lai của mình, Isabella Lugoski, người ngồi ở bàn kế bên trong suốt khóa học hóa lý đầu tiên của mình. Hai người kết hôn vào năm 1942. Mặc dù ông hoàn thành nghiên cứu của mình vào năm 1943, nhưng ông được trao bằng tiến sĩ vào năm sau.[1]

Bắt đầu từ năm 1943 sau khi đậu bằng tiến sĩ, Karle làm việc trong Dự án Manhattan ở Đại học Chicago cùng với vợ – tiến sĩ Isabella Karle – một trong các nhà khoa học trẻ nhất và cũng là một trong vài phụ nữ làm việc ở dự án này. Năm 1944, hai vợ chồng trở lại Đại học Michigan, nơi Karle làm trong một dự án cho Phòng thí nghiệm nghiên cứu Hải quân Hoa Kỳ (United States Naval Research Laboratory). Năm 1946, họ di chuyển về Washington, D.C. để làm việc trong Phòng thí nghiệm nghiên cứu Hải quân.[1]